Tōdō xuất thân từ Edo, Tỉnh Musashi (nay là Tokyo). Nguồn gốc xuất thân của ông rất ít được biết đến. Mặc dù có thuyết nói rằng ông là đứa con ngoài giá thú của Tōdō Takayuki, lãnh chúa đời thứ 11 của phiên Tsu, dù thuyết này vẫn còn gây tranh cãi. Tuy nhiên một luận cứ đã được sử dụng để ủng hộ thuyết này là việc ông sở hữu một thanh kiếm được thợ rèn Kaneshige Kazusa no suke người mà dưới sự bảo trợ của phiên Tsu rèn cho, đó là một thanh kiếm mà ít rōnin nào có được, cho dù nó là một di sản. Một điểm nữa ám chỉ rằng di sản của phiên Tsu chính là tên gọi chính thức của nó (諱; imina), Yoshitora (宜虎), đó chính là chữ kanji khá phổ biến cho cái tên Tōdō là tên của lãnh chúa phiên Tsu, Tōdō Takatora (藤堂高虎).

Tōdō là người thực hành tuyệt kỹ Hokushin Ittō-ryu, được huấn luyện tại võ đường Chiba Shusaku Narimasa. Tuy nhiên theo một số nguồn tư liệu ghi chép, thì ông được huấn luyện tại võ đường Itō Kashitarō để thay thế võ đường cũ.

Vào khoảng năm 1862, ông bắt đầu dùng bữa tại Shieikan của Kondou Isami